Sidek berkahwin dengan sepupunya sendiri, Allahyarhamah Datin Rukinah Sulaiman[Nota 1] pada tahun 1954 dan mereka dikurniakan 8 anak (6 anak lelaki, 2 anak perempuan), Rusitah (lahir 1958),[7] Misbun (lahir 1960), Razif (lahir 1962), Jalani (lahir 1963), Rahman (lahir 1965), Rashid (lahir 1968), Shahrezan dan Zamaliah. Selepas isterinya, Rukinah yang mesra dengan panggilan Kinah meninggal dunia pada 29 Januari 2003, beliau berkahwin kali kedua dengan Juriah Abdul Wahab, namun bercerai.[8] Sidek berkahwin kali ketiga dengan Bangaton Rasman. Cucu-cucu beliau, Misbun Ramdan Misbun,[9] Muhamad Fazriq Razif[10] dan Megat Deli Jalani, turut bergiat aktif dalam sukan badminton.

Gambaran dalam komik Anak-Anak Sidek

Haji Sidek digambarkan sebagai seorang yang panas baran dan tidak membenarkan anak-anaknya terlibat dalam sukan lain kecuali badminton. Beliau menyayangi anak-anaknya, namun tidak pernah menunjukkan kasih sayang. Beliau sebenarnya mewarisi tabiat panas barannya daripada bapanya, Haji Abdullah Kamar.